Para Além do SINAES

Para alem do SINAES

Simon Schwartzman

Apresentac ao na VI reuniao da Associacao Brasileira de Avaliacao Educacional,
Mesa Redonda sobre "Para alem do SINAES: quais as novas possibilidades de

avaliacao da educacao superior?"

Fortaleza, 1° de setembro de 2011

Contexto

Sistema Nacional de Avaliacao do Ensino Superior, SINAES, foi instituido por
lei em abril de 2004, em substituicao ao sistema instituido na decada de 90, que
incluia o Exame Nacional de Cursos (conhecido como "Provao") e outros
instrumentos como a "Analise das Condicoes de Ensino (ACE)"; a "Avaliacao das
CondicSes de Oferta" (ACO); e a "Avaliacao Institucional dos Centros
Universitarios.". A implementacao do SINAES e da responsabilidade da Comissao
Nacional de Avaliacao do Ensino Superior (CONAES), e a execucao dos
procedimentos de avaliacao estabelecidos pelo CONAES e da responsabilidade
do Instituto National de Estudos e Pesquisas Nacionais, do Ministerio da
Educacao. A mesa foi coordenada por Wagner Andriola, da Universidade Federal
do Ceara, e contou com a presenca de Sergio Franco, presidente do CONAES, e
Roberto Verhine, membro do CONAES.

Questoes gerais sobre o SINAIS.

Ministerio da Educacao, atraves do SINAES, procura cumprir duas funcoes que
sao distintas, embora relacionadas. A primeira e autorizar e revalidar o
credenciamento das instituicoes para que possam funcionar. A segunda e avaliar,
identificando as que tenham maior ou menor qualidade. As duas funcoes sao
relacionadas, ja que uma avaliacao muito negativa poderia levar, em principio, ao
fechamento ou interrupcao de um curso ou instituicao.

Para saber se a avaliacao esta ocorrendo como deve, as perguntas sao:

• Quais sao os diferentes setores a cujos interesses o sistema de avaliacao
deve atender?

• sistema de avaliacao produz as informacoes que interessam para os
diferentes publicos?

• Ele tern as carateristicas de clareza e legitimidade que seriam necessarios
para que um sistema de avaliacao nacional tenha os efeitos que se espera?

• Ele e tecnicamente bem constituido e robusto?

Os diferentes publicos da avaliacao

05 interesses da sociedade

A "sociedade" e um conceito difuso, mas inclui a opiniao publica como um
todo, nacional e internacional. Interessa a sociedade saber, de maneira geral, e

tambem de maneira especifica para diferentes regioes e areas de conhecimento e
atividade professional, se o sistema de educacao superior e adequado e se
desempenha bem seus papeis de formacao professional, geral, tecnica, cientifica,
cultural, etc. As estatisticas do Censo do Ensino Superior produzem algo desta
informacao, mas nao de forma organizada e sistematizada. Os conceitos
resultantes dos sistemas de avaliacao permitem algumas comparacoes por
regiao e dentro de cada area de conhecimento, mas nao permitem comparar a
importancia e qualidade relativas entre diferentes areas de conhecimento, ja que
os resultados sao padronizados.

Em areas de alto risco, como na medicina e na engenharia, as avaliacoes
deveriam servir como aval da competencia profissional dos titulares de diploma,
como criterio para autorizar o exercicio da profissao. A ausencia de padroes
minimos tern impedido ate agora que esta funcao seja exercida, o que e
compensado em parte, na area do direito, pelo exame da OAB.

Uma questao recorrente nos procedimentos de avaliacao utilizados pelo MEC e a
da utilizacao do conceito de "demanda social", que poderia ser aplicado, por
exemplo, para impedir que uma nova faculdade de medicina fosse criada em uma
area aonde ja existam outras faculdades funcionando. Este e um conceito que
deveria ser aplicado nas decisoes que o governo federal vem tomando de criar
novas universidades ou ampliar as universidades existentes, mas nao consta que
o CONAES ou o INEP tenham participado destas decisoes. Por outro lado, nao
cabe ao governo impedir que instituicoes privadas oferecam seus cursos aonde
achem mais conveniente, desde que eles tenham qualidade e nao impliquem
custos para o tesouro. Novos cursos e mais profissionais podem afetar o
mercado de trabalho para os profissionais ja formados, aumentando a
concorrencia, mas isto nao e um mal do ponto de vista da sociedade.

05 inter esses do Esta do

As avaliacoes deveriam dar ao setor publico instrumentos para garantir que o
setor privado, estados e municipios nao esteja oferecendo cursos de formacao de
qualidade inaceitaveis, e avaliar a eficiencia e eficacia dos investimentos nas
areas sob sua administracao direta (ou seja, as universidades federals).

A primeira funcao tern sido cumprida de forma timida. Nao ha um levantamento
completo, mas existem noticias de cursos de direito, medicina e pedagogia que
foram fechados pelo Ministerio da Educacao. E um processo longo que se inicia
com os conceitos 1 ou 2 no "Conceito Provisorio de Cursos" e continua com a
visita de especialistas, "Termos de Saneamento de Deficiencias", etc. Dos 11.900
cursos com conceitos preliminares em 2007-2009, 30% tinham conceitos abaixo
de 2, mas o numero de cursos que foram pressionados a melhorar ou encerrar
seu trabalho nao chega a duas centenas. Como a distribuicao dos conceitos e
normalizada, os 30% sao os resultados de uma construcao estatistica, e nao
significa que realmente estejam funcionando em padroes inaceitaveis -mas
podem estar.

A segunda funcao, de avaliar o uso adequado dos recursos e o atendimento as
prioridades do pais por parte das instituicoes federals, nao e cumprida pelo
sistema de avalicao do SINAES e, aparentemente, por nenhum outro. Como os

criterios da avaliacao do SINAES incluem informacoes que sao mais tipicas de
instituicoes publicas (como numero de professores em tempo integral e
doutores), a grande maioria das instituicoes publicas se saem razoavelmente ou
bem das avaliacoes do ENADE, e por isto escapam da fiscalizacao direta. Um
indicador simples que poderia ser usado na avaliacao das instituicSes publicas e
a relacao entre o numero de publicacoes indexadas e o numero de professores
em dedicacao exclusiva, que poderia levar a politicas corretivas se a relacao for
muito baixa.

Tambem nao esta claro se as novas instituicoes e programas que estao sendo
criados pelo Ministerio da Educacao estao passando ou passarao pelo processo
de credenciamento, recredenciamento e autorizacao de funcionamento que e
aplicado as IES privadas.

As instituicoes de educacao superior

processo de avaliacao, que se inicia por uma auto avaliacao interna dos cursos
e instituicoes, deveria criar uma oportunidade para que as instituicoes se
comparem entre si, identifiquem suas carencias e melhorem seu desempenho.

Para o setor privado, esta funcao ocorre em parte, porque a divulgacao dos
resultados das avaliacoes podem afetar diretamente a demanda de estudantes
que recebem. Para o setor publico, como nao ha praticamente consequencias das
avaliacoes, e elas tendem a ser mais favoraveis, o impacto e aparentemente
menor.

Estudantes

As avaliacoes deveriam das aos estudantes informacao nao somente sobre a
qualidade geral dos cursos em um ranking nacional, mas tambem sobre a
empregabilidade dos seus formados, niveis de renda esperados, possibilidades
de continuar estudando na pos-graduacao, etc, assim como os recursos de
infraestrutura e de apoio que as instituicoes dispoem, e, finalmente, custos
diretos e indiretos dos cursos. Estas informacoes, no entanto, nao existem, e as
que existem nao sao apresentadas de forma acessivel e clara.

Empregadores

Possiveis empregadores de formados pelas diferentes instituicSes teriam
interesse em saber mais sobre a qualidade dos formados. ENADE da uma
informacao geral, mas seria importante, tambem, saber que competencias
especificas sao mais desenvolvidas nos diferentes cursos. Como o ENADE nao
esta estruturado por competencias, e as informacoes sao apresentadas de forma
global, esta informacao nao existe.

Clareza e legitimidade

Para que uma avaliacao funcione, ela tern que ser inteligivel para os diferentes
usuarios, e a agenda responsavel pela sua execucao deve ser considerada como
legitima pelas diferentes partes, os avaliados e os usuarios das avaliacoes. As
avaliacoes do SINAES satisfazem a estes criterios?

Clareza

Os conceitos produzidos pelo SINAES sao de dificil entendimento, tanto em
relacao a maneira em que sao construidos como em relacao ao significado dos
conceitos finais. Parte do problema tern a ver com as sucessivas agregacoes e
transformacoes pelas quais passam os dados ate chegarem ao conceito final.
ENADE, enquanto prova de conclusao de cursos, tern uma compreensao
relativamente clara, embora seja provavel que a maior parte do publico (assim
como a imprensa) nao entenda que se tratam de distribuicoes normais, e nao de
conceitos absolutos, que dependeriam da existencia de standards minimos que
as provas nao tern.

Conceito Preliminar," e ainda mais obscuro, na medida em que combina os
resultados do ENADE dos alunos concluintes, os do "Indice de Diferenca de
Desempenho", insumos em termos de professores com doutorado em tempo
completo, e avaliacoes feitas por estudantes 1 . Mais obscuro ainda, e de dificil
sustentacao conceitual, e o "Indice Geral de Cursos, o IGC, que combina conceitos
normalizados de diferentes cursos (e por isto incomparaveis) em um indice
composto.

Os resultados destes procedimentos estatisticos complexos e nem sempre bem
justificados sao apresentados em escalas simples de 5 pontos, cuja interpretacao,
no entanto, nao e nada clara.

Legitimidade

Nao se pode esperar que o publico nao especializado entenda a complexidade
dos procedimentos estatisticos usados nestes calculos, mas tampouco se pode
esperar que as pessoas aceitem sem questionar os resultados de uma avaliacao
que nao compreendem em sua totalidade. Tornar os criterios claros e
transparentes, em linguagem acessivel, e nao ocultos em formulas matematicas
so inteligiveis pelos especialistas, e um passo importante para garantir a
legitimidade e aceitacao dos dados produzidos.

outro componente da legitimidade, que faz com que a populacao acredite nos
resultados, e que a instituicao seja reconhecida pela sua competencia tecnica e
imparcialidade. Ministerio da Educacao, no entanto, e muitas vezes percebido
como parcial, uma vez que possui uma rede propria de universidades que
escapam a uma avaliacao mais rigorosa, e esta sujeito, como o proprio INEP, a
mudancas sucessivas de direcao. Em muitos paises, os sistemas de avaliacao sao
instituidos de forma independente, fora do governo e dotados de
institucionalidade propria, o que nao ocorre em nosso pais.

As avaliacoes do MEC tern muito pouca legitimidade entre a maioria das
instituicoes privadas de ensino superior no Brasil, por boas e mas razoes. As
boas razoes se devem ao fato de que a enfase posta em indicadores de insumos

1 Ver, para uma analise mais detalhada da construcao deste indice, meu texto sobre "0 'conceito
preliminar' e as boas praticas de avaliacao do ensino superior. Revista da Associacao Brasileira
de Mantenedoras de Ensino Superior, n. 38, Dezembro, pp. 9-32, disponivel em
http://www.schwartzman.org.br/simon/prelim.pdf . Veja tambem "0 Enigma do ENADE",
disponivel em http://www.schwartzman.org.br/simon/enade.pdf

como instalacoes e professores com contratos de tempo integral,
independentemente de sua produtividade, e a ausencia de indicadores sobre a
qualidade dos cursos em preparar os alunos para o mercado de trabalho,
resultam em uma tendenciosidade que tende a colocar as instituicSes privadas
em situacao pior, e mascara as deficiencias das instituicoes publicas. A outra boa
razao da falta de legitimidade e a existencia de um claro preconceito, em muitos
setores do governo, quanto ao setor privado, cujo papel em atender a 75% dos
estudantes nem sempre e reconhecido e valorizado. As mas razoes se devem ao
fato de que a qualidade de muitas instituicoes realmente e ma, e por isto elas
resistem a qualquer avaliacao externa que possa revelar suas deficiencias e
limitacoes. Seria de se esperar que setor privado desenvolvesse, de forma
autonoma, seu proprio sistema de avaliacao, que pudesse eventualmente
competir com o sistema oficial e adquirir mais legitimidade. Nao tern sido este,
no entanto, o caminho preferido pelo setor privado, quern tern optado por tentar
influenciar e alterar alguns dos procedimentos das avaliacoes do governo federal.

Questoes tecnicas

Estas questoes se referem a maneira pela qual os procedimentos de avaliacao
sao conduzidos, e se dividem em dois grandes grupos, o das questoes mais
conceituais, relativas a concepcao e uso dos resultados das avaliacoes, e as mais
de tipo operacional, incluindo a maneira pela qual os diferentes indicadores sao
calculados.

As questoes de tipo conceitual mais importantes sao as seguintes:

1 - A maneira linear em que as avaliacoes sao feitas, partindo da suposicao de
que todos os cursos deveriam se pautar pelo modelo da "universidade de
pesquisa", com professores doutores e em tempo integral. Este e o ponto em que
o setor privado, que basicamente so se dedica ao ensino, mais se queixa.

2 - a suposicao, tambem linear, de que todos os cursos de uma determinada area
de conhecimento deveriam cumprir o mesmo programa, definido em geral por
professores das universidades publicas. Esta suposicao impede que diferentes
instituicoes proponham e tratem de desenvolver programas com projetos
academicos e de formacao profissional distinta, mais voltados ao mercado de
trabalho por exemplo.

Este item esta associado ao fato de que as provas do ENADE nao estao
constituidas a partir de competencias claramente identificadas, mas de
curriculos tradicionais adotados por diferentes instituicoes

3 - a transformacao de indicadores "low stakes", que so deveriam ser utilizados
de forma agregada, em conceitos de "high stakes", na medida em que mesmo os
"concertos preliminares" sao divulgados pela imprensa, afetando a credibilidade
das instituicoes. Avaliacoes de "high stakes" nao podem ser o simples resultado
de analises e procedimentos estatisticos, mas requerem decisoes bem
fundamentadas caso a caso, a partir das informacoes disponiveis.

Questoes operacionais

Estas questoes tern a ver, sobretudo, com a maneira pela qual as diversas
informacoes obtidas pelas provas, inspecoes e coletas de dados sao padronizadas
e combinadas, e sobretudo em relacao aos pesos que sao atribuidos aos diversos
indicadores, que sao em geral definidos sem maiores justificacoes.

Existem dois problemas metodologicos principals que afetam fortemente o
sistema atual de avaliacao. primeiro e a confusao e mistura entre dados de
recursos e insumos, por uma parte, e dados de resultados por outra. Do ponto de
vista dos usuarios, o que importa e a qualidade da educacao, e nao coisas como o
numero de bibliotecas, quantidade de professores em tempo integral, ou a
existencia ou nao de um programa didatico pedagogico. Estas coisas podem e
certamente influenciam os resultados, mas a relacao nem sempre e clara, e o
atendimento burocratico de certos requisitos nem sempre significa que os
produtos esperados serao obtidos. A mistura de informacoes ou indicadores de
recursos e resultados torna o sistema de avaliacao muito complexo e
dispendioso (embora a informacao sobre o custo do SINAIS nao esteja
disponivel).

outro e a producao de rankings oficiais a partir de estimativas estatisticas
sujeitas a erros probabilisticos e que dependem de uma serie de suposicoes mais
ou menos arbitrarias na atribuicao de pesos e nos procedimentos de
normalizacao e combinacao de resultados, entre outros.

Conclusoes e recomenda^oes

Iniciado em meados dos anos 90 com uma inovacao criativa, o Provao, a
avaliacao do ensino superior brasileiro se tornou cada vez mais complexa ao
longo dos anos, requerendo constantes melhorias e modificacoes.

Um resultado importante deste processo e que o tema da qualidade da educacao
foi colocado no centra das discussoes, para nao mais sair. No entanto, existem
alguns problemas centrais que precisam ser tratados, para que a avaliacao possa
avancar e produzir os resultados que se espera. As principals recomendacoes
seriam:

• Deveria haver uma maior preocupacao em focalizar os resultados para os
diferentes setores interessados no ensino superior, na forma de relatorios
e analises de facil compreensao e de acesso direto pela Internet

• As avaliacoes deveriam impactar tambem o setor publico, e nao que
exclusivamente o setor privado;

• Deveria haver espaco para que diferentes instituicoes desenvolvam
projetos pedagogicos distintos, e que por isto nao podem ser avaliados
por uma dimensao unica

• Faltam indicadores especificos sobre vinculacao dos cursos com o
mercado de trabalho, com dados sobre os empregos e niveis de
remuneracao obtidos pelos formados, e tambem sobre as qualificacoes
profissionais (e nao academicas) dos professores.

• Indicadores sinteticos que combinam dimensoes diferentes nao deveriam
ser combinados em indices integrados, que obscurecem o sentido dos
diferentes componentes, e sim mantidos e apresentados de forma
separada.

• Se for necessario um conceito sintetico final, ele poderia se resumir a
duas ou tres categorias (certificados, autorizados, ou em observacao, por
exemplo).

Da maneira em que esta constituido, com avaliacoes em loco e as provas
periodicas do ENADE, o sistema de avaliacao federal e hoje um sistema
gigantesco, que faz uso de milhares de avaliadores, e que tende a se tornar cada
vez mais caro e complexo na medida em que o sistema de ensino superior se
amplie. Existem serias duvidas quanto a qualidade e confiabilidade das
avaliacoes feitas pelos avaliadores, que nem sempre tern as qualificacoes
adequadas para um sistema efetivo de peer review.

E necessario pensar em retirar a avaliacao do Ministerio e coloca-la em uma ou
mais agendas independentes constituidas com legitimidade. Para um pais como
o Brasil, com a pluralidade de cursos e instituicSes que existem, poderia haver
espaco para a criacao de diversas agendas de avaliacao, de tipo regional e
tematica, e que possam inclusive competir entre si por reconhecimento e pela
adesao das instituicoes e cursos a seus procedimentos.